挖掘大型数据集以预测新数据时,统计机器学习背后原则的限制不仅对大数据迅速产生了严峻的挑战,而且对数据生成过程被偏置为低算法复杂性的传统假设构成了严峻的挑战。即使在有限数据集生成器中为简单呈现潜在的算法信息偏见时,我们也显示完全自动化,有或没有访问伪随机发生器,可计算学习算法,特别是当前机器学习方法中使用的统计性质的统计性质(包括深度学习),可以始终通过足够大的数据集来欺骗,自然地或人工。特别地,我们证明,对于每个有限的学习算法,存在足够大的数据集大小,上面不可预测的欺骗者的算法概率是算法的上限(最多只取决于学习算法的乘法常数)任何其他更大数据集的概率。换句话说,非常大的和复杂的数据集可能欺骗学习算法作为任何其他特定数据集的“简单泡沫”。这些欺骗数据集保证,任何预测都会从高算法复杂性全局最佳解决方案中发散,同时朝向低算法复杂度局部最佳解决方案。我们讨论框架和经验条件,以避免这种欺骗性现象,远离统计机器学习,以基于或激励的算法信息理论和可计算性理论的内在力量。
translated by 谷歌翻译
原始的“七个图案”阐述了科学计算领域的基本方法的路线图,其中图案是一种捕获计算和数据移动模式的算法方法。我们介绍了“仿真智力的九个主题”,是一种开发和整合的路线图,以合并科学计算,科学模拟和人工智能所必需的基本算法。我们称之为合并模拟智能(SI),短暂。我们认为模拟智能的主题是相互连接的和相互依存的,很像操作系统层中的组件一样。使用这种隐喻,我们探讨了模拟智能操作系统堆栈(Si-Stack)和其中图案的各层的性质:(1)多种物理和多尺度建模; (2)替代建模和仿真; (3)基于仿真的推理; (4)因果建模和推理; (5)基于代理的建模; (6)概率编程; (7)可微分的编程; (8)开放式优化; (9)机器编程。我们相信图案之间的协调努力提供了加速科学发现的巨大机会,从综合生物和气候科学中解决逆问题,指导核能实验,并预测社会经济环境中的紧急行为。我们详细说明了Si-stack的每层,详细说明了最先进的方法,提出了示例以突出挑战和机遇,并倡导具体的方法来推进主题和与其组合的协同作用。推进和整合这些技术可以实现稳健且有效的假设仿真 - 分析类型的科学方法,我们用几种使用案例为人机组合和自动化学介绍。
translated by 谷歌翻译
Imitation learning approaches achieve good generalization within the range of the training data, but tend to generate unpredictable motions when querying outside this range. We present a novel approach to imitation learning with enhanced extrapolation capabilities that exploits the so-called Equation Learner Network (EQLN). Unlike conventional approaches, EQLNs use supervised learning to fit a set of analytical expressions that allows them to extrapolate beyond the range of the training data. We augment the task demonstrations with a set of task-dependent parameters representing spatial properties of each motion and use them to train the EQLN. At run time, the features are used to query the Task-Parameterized Equation Learner Network (TP-EQLN) and generate the corresponding robot trajectory. The set of features encodes kinematic constraints of the task such as desired height or a final point to reach. We validate the results of our approach on manipulation tasks where it is important to preserve the shape of the motion in the extrapolation domain. Our approach is also compared with existing state-of-the-art approaches, in simulation and in real setups. The experimental results show that TP-EQLN can respect the constraints of the trajectory encoded in the feature parameters, even in the extrapolation domain, while preserving the overall shape of the trajectory provided in the demonstrations.
translated by 谷歌翻译
Transfer learning uses a data model, trained to make predictions or inferences on data from one population, to make reliable predictions or inferences on data from another population. Most existing transfer learning approaches are based on fine-tuning pre-trained neural network models, and fail to provide crucial uncertainty quantification. We develop a statistical framework for model predictions based on transfer learning, called RECaST. The primary mechanism is a Cauchy random effect that recalibrates a source model to a target population; we mathematically and empirically demonstrate the validity of our RECaST approach for transfer learning between linear models, in the sense that prediction sets will achieve their nominal stated coverage, and we numerically illustrate the method's robustness to asymptotic approximations for nonlinear models. Whereas many existing techniques are built on particular source models, RECaST is agnostic to the choice of source model. For example, our RECaST transfer learning approach can be applied to a continuous or discrete data model with linear or logistic regression, deep neural network architectures, etc. Furthermore, RECaST provides uncertainty quantification for predictions, which is mostly absent in the literature. We examine our method's performance in a simulation study and in an application to real hospital data.
translated by 谷歌翻译
深度神经网络模型大量部署在各种硬件平台上。这导致出现新的攻击向量,这些攻击向量大大扩展了标准攻击表面,这是由对抗机器学习社区广泛研究的。旨在通过瞄准存储在内存中的参数(权重)的第一个旨在极大地降低模型性能的攻击之一是位翼攻击(BFA)。在这项工作中,我们指出了与BFA相关的一些评估挑战。首先,标准威胁模型中缺乏对手的预算是有问题的,尤其是在处理身体攻击时。此外,由于BFA提出了关键的可变性,因此我们讨论了某些培训参数的影响以及模型体系结构的重要性。这项工作是第一个介绍BFA对与卷积神经网络相比呈现不同行为的完全连接体系结构的影响的作品。这些结果突出了定义鲁棒和合理评估方法的重要性,以正确评估基于参数的攻击的危险,并衡量国防提供的实际鲁棒性水平。
translated by 谷歌翻译
最近对反向传播的近似(BP)减轻了BP的许多计算效率低下和与生物学的不兼容性,但仍然存在重要的局限性。此外,近似值显着降低了基准的准确性,这表明完全不同的方法可能更富有成果。在这里,基于在软冠军全网络中Hebbian学习的最新理论基础上,我们介绍了多层softhebb,即一种训练深神经网络的算法,没有任何反馈,目标或错误信号。结果,它通过避免重量传输,非本地可塑性,层更新的时间锁定,迭代平衡以及(自我)监督或其他反馈信号来实现效率,这在其他方法中是必不可少的。与最先进的生物学知识学习相比,它提高的效率和生物兼容性不能取得准确性的折衷,而是改善了准确性。 MNIST,CIFAR-10,STL-10和IMAGENET上最多五个隐藏层和添加的线性分类器,分别达到99.4%,80.3%,76.2%和27.3%。总之,SOFTHEBB显示出与BP的截然不同的方法,即对几层的深度学习在大脑中可能是合理的,并提高了生物学上的机器学习的准确性。
translated by 谷歌翻译
我们提出协调指导矢量字段,以与机器人团队同时完成两个任务:首先,多个机器人的指导和导航到可能嵌入2D或3D中的可能不同的路径或表面;其次,他们的运动协调在跟踪他们的规定路径或表面时。运动配位是由路径或表面上的机器人之间所需的参数位移定义的。通过控制对应于指导矢量场之间的路径或表面参数的虚拟坐标来实现这种所需的位移。由动力学系统理论和Lyapunov理论支撑的严格数学保证,用于从所有初始位置上有效的分布式运动协调和机器人在路径或表面上导航。作为实用机器人应用的一个例子,我们从所提出的具有驱动饱和度的Dubins-car样模型的指导向量场中得出了一种对照算法。我们提出的算法分布并可扩展到任意数量的机器人。此外,广泛的说明性模拟和固定翼飞机户外实验验证了我们算法的有效性和鲁棒性。
translated by 谷歌翻译
现代视频游戏的规模和规模迅速增长,为了创造丰富而有趣的环境,需要大量内容。结果,通常使用数千个详细的3D资产来创建一个场景。由于每个资产的多边形网格可以包含数百万个多边形,因此需要绘制的多边形数量可能超过数十亿。因此,计算资源通常会限制场景中可以显示多少详细对象。为了推动此限制并优化性能,可以在可能的情况下减少资产的多边形计数。基本上,这个想法是,距捕获相机距离更远的对象,因此屏幕尺寸相对较小,其多边形计数可能会降低而不会影响感知的质量。细节级别(LOD)是指3D模型表示的复杂性水平。消除复杂性的过程通常称为减少LOD,可以使用算法或由艺术家手动自动完成。但是,如果不同的LOD显着差异,或者如果LOD降低过渡不是无缝的,则此过程可能导致视觉质量恶化。如今,这些结果的验证主要是手动要求专家在视觉上检查结果。但是,此过程是缓慢的,平凡的,因此容易出错。本文中,我们提出了一种根据深度卷积网络的使用来自动化此过程的方法。我们报告有希望的结果,并设想该方法可用于自动化LOD减少测试和验证过程。
translated by 谷歌翻译
游戏理论一直是控制疾病传播并提出个人和地区级别最佳政策的有效工具。在此AMS通知文章中,我们关注Covid-19的干预的决策制定,旨在提供数学模型和有效的机器学习方法,以及对过去实施的相关政策的理由,并如何解释当局如何解释当局从游戏理论的角度来看,决策会影响其邻近地区。
translated by 谷歌翻译
考虑由一个简单,离散的动力学系统产生的有限状态图,其中代理在矩形网格拾取和删除软件包中移动。问题的状态变量(即,代理位置和软件包位置)是否可以单独从状态图的结构中恢复,而无需访问有关对象,状态结构或任何背景知识的信息?我们表明,这是可能的,只要动力学是通过与域无关的一阶因果语言学习的,这为对象和关系提供了空间,而这些因果关系却被认为是所知的。与数据兼容的语言中最紧凑的表示的偏爱提供了强大而有意义的学习偏见,从而使其成为可能。结构化因果模型(SCM)的语言是代表(静态)因果模型的标准语言,但在由对象填充的动态世界中,需要诸如“经典AI计划”中使用的一阶因果语言。尽管“经典AI”需要手工制作的表示,但可以通过相同语言从非结构化数据中学到类似的表示形式。的确,是那些语言中的语言和对紧凑型表示的偏好为世界提供了结构,揭示了对象,关系和原因。
translated by 谷歌翻译